在這次的專案中，我選擇了預訓練模型進行 Fine-tuning。這是一種高效且常見的作法，能讓我們在短時間內，利用現有模型的強大能力，來解決特定領域的任務。

為了情感分析任務，我選擇了在中文領域廣受歡迎的 BERT-based Chinese 作為基礎模型。

什麼是 BERT？

BERT，全名為 Bidirectional Encoder Representations from Transformers，是 Google 於 2018 年提出的一種基於 Transformer 的預訓練技術，專門用於自然語言處理（NLP）。

BERT 的革命性在於，它不像傳統模型只能單向閱讀文本，而是能雙向地理解上下文，這使得它能更準確地捕捉語意。簡單來說，它透過閱讀大量的中文語料（如中文維基百科、書籍等），學會了語言的基本結構和語意關係，具備了強大的自然語言理解能力。

為什麼選擇 BERT？

BERT 在過去幾年間，已被廣泛應用於多種 NLP 任務，並取得了突破性的成果。它之所以能成為首選，主要有以下幾個原因：

• 強大的基礎能力
  BERT-based Chinese 已經在海量的中文語料上進行過訓練，對中文語法、詞彙和語意有著深刻的理解。這為我們的專案提供了堅實的起點，讓我們不必從零開始訓練一個龐大的模型。

• 優異的 Fine-tuning 表現
  雖然 BERT 已經很強大，但要將其應用於特定的情感分析任務，我們仍需要使用自己的標註資料進行微調。這一步驟非常重要，因為它能讓模型學會辨識特定產業或領域中獨特的表達方式，例如：電商評論中的「出貨速度」或「商品質感」。透過 Fine-tuning，我們可以讓模型達到極高的準確率，遠超過未經訓練的通用模型。

參考資料

• BERT 維基百科
• Huggingface: bert-base-chinese
• BERT 原始論文